Ông lập gia đình với tiến sĩ sinh hóa nguyên Phó Giám đốc Viện Pasteur, Thành phố Hồ Chí Minh Lê Thị Thoa, con gái luật sư Lê Đình Chi (1912 – 1949), Trưởng ban Quân pháp Nam Bộ. Sau khi nghỉ hưu, ông tập trung viết hồi ký và tham gia nhiều hoạt động xã hội.

Năm 1982, ông cho in cuốn Kết thúc cuộc chiến tranh 30 năm, trong đó có ghi những nhận định chủ quan của nhiều lãnh đạo Đảng Lao động, khi đã đánh giá quá cao khả năng quân sự của mình và đánh giá quá thấp khả năng của quân đội Mỹ và Việt Nam Cộng hòa trước và trong dịp Tổng tấn công Tết Mậu Thân. Sách mới in đến tập 5 thì bị thu hồi do quan điểm bị coi là không chính thống, nên các tập sau không được xuất bản.

Ông qua đời ngày 20 tháng 4 năm 1996 tại Thành phố Hồ Chí Minh.